{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import base64\n",
    "import json\n",
    "import requests\n",
    "import pandas as pd\n",
    "from selenium import webdriver \n",
    "import time\n",
    "import re\n",
    "from urllib.parse import urljoin\n",
    "from uuid import uuid4\n",
    "import requests\n",
    "import base64\n",
    "from PIL  import Image"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 调用API"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "#详情看接口文档 https://shimo.im/docs/MJm6EW3fdHknjjHX/read\n",
    "def base64_api(uname, pwd, img, typeid):\n",
    "    with open(img, 'rb') as f:\n",
    "        base64_data = base64.b64encode(f.read())\n",
    "        b64 = base64_data.decode()\n",
    "    data = {\"username\": uname, \"password\": pwd, \"typeid\": typeid, \"image\": b64}\n",
    "    result = json.loads(requests.post(\"http://api.ttshitu.com/predict\", json=data).text)\n",
    "    if result['success']:\n",
    "        return result[\"data\"][\"result\"]\n",
    "    else:\n",
    "        return result[\"message\"]\n",
    "    return \"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "<ipython-input-3-bae6348d48a0>:14: DeprecationWarning: use options instead of chrome_options\n",
      "  driver = webdriver.Chrome( chrome_options = opts) #desired_capabilities=caps\n"
     ]
    }
   ],
   "source": [
    "#caps=dict()\n",
    "#caps[\"pageLoadStrategy\"] = \"none\"   # Do not wait for full page load\n",
    "opts = webdriver.ChromeOptions()\n",
    "opts.add_argument('--no-sandbox')#解决DevToolsActivePort文件不存在的报错\n",
    "opts.add_argument('window-size=1920x3000') #指定浏览器分辨率\n",
    "opts.add_argument('--disable-gpu') #谷歌文档提到需要加上一这个属性来规避bug\n",
    "opts.add_argument('--hide-scrollbars') #隐藏滚动条, 应对些特殊页面\n",
    "#opts.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度\n",
    "#opts.add_argument('--headless') #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败\n",
    "# opts.binary_location = \"C:\\portable\\PortableApps\\IronPortable\\App\\Iron\\chrome.exe\"\n",
    "# opts.binary_location = \"C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe\" #\"H:\\_coding_\\Gitee\\InternetNewMedia\\CapstonePrj2016\\chromedriver.exe\"  \n",
    "\n",
    "\n",
    "driver = webdriver.Chrome( chrome_options = opts) #desired_capabilities=caps"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 设置下载路径"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "<ipython-input-4-269eb6dc912e>:5: DeprecationWarning: use options instead of chrome_options\n",
      "  driver = webdriver.Chrome(executable_path=r'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe', chrome_options=options)\n"
     ]
    }
   ],
   "source": [
    "options = webdriver.ChromeOptions()\n",
    "out_path = r'C:\\Users\\86198\\Desktop\\cnki 数据挖掘\\期末'  # 是你想指定的路径\n",
    "prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': out_path}\n",
    "options.add_experimental_option('prefs', prefs)\n",
    "driver = webdriver.Chrome(executable_path=r'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe', chrome_options=options)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 分批下载"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： jsb5\n",
      "验证码识别： sm53\n",
      "验证码识别： sm53\n",
      "关于运用网络新技术推动高校新闻网创新发展的思考----已下载\n",
      "网络信息资源与大学生媒体素养----已下载\n",
      "疏离还是拓展——网络社会初级群体社会关系分析----已下载\n",
      "学习新媒体  寻求新模式——美国网络新闻商业模式创新的三个新动向----已下载\n",
      "浅析网络媒体对受众的分割与重聚----已下载\n",
      "网络时代大学校园媒体的特征及运行策略----已下载\n",
      "试析网络访谈类节目的成功之道——以凤凰网《凤凰非常道》为例----已下载\n",
      "网络时代的政治传播策略及效果——以奥巴马从竞选到执政的受众态度为例----已下载\n",
      "谈网络视频版权保护----已下载\n",
      "新媒介技术之伦理张力——以网络传播等为例----已下载\n",
      "新网络环境下领导干部媒介素养的提升----已下载\n",
      "新媒体航母的整合之痛——解读网络电视的困境与出路----已下载\n",
      "对网络,依靠而不依赖----已下载\n",
      "当传统批评家遭遇网络----已下载\n",
      "新媒介公信力考察——基于全国十大城市网络、手机调查数据的分析----已下载\n",
      "结构性制约:对网络时代日常新闻生产的考察----已下载\n",
      "回顾与展望:2009年的网络传播研究----已下载\n",
      "网络时代,电视财经节目如何应对----已下载\n",
      "浅议视听新媒体“网络电视台”----已下载\n",
      "当前高校校园网络环境的变化及其对策研究——以北京大学未名BBS和“人人网”为例----已下载\n",
      "新媒体语境下的网络影视剧传播与本体美学特征----已下载\n",
      "新媒体时代的思考:网络媒介与手机媒介知识信息服务在图书馆的应用----已下载\n",
      "新媒体时代广播电视与网络的舆论竞争----已下载\n",
      "高校基层党组织建设与和谐校园的构建——以网络新媒体为视角----已下载\n",
      "从英国Channel 4的网络实践看“台网融合”之道----已下载\n",
      "新媒体环境中的广告舆论生成与网络口碑传播----已下载\n",
      "网络民意表达促进中国法律法规完善----已下载\n",
      "新媒体赋权:理论建构与个案分析——以中国稀有血型群体网络自组织为例----已下载\n",
      "新媒体时代中国舆论监督的新议题:网络揭黑----已下载\n",
      "网络时代戏曲艺术的传播----已下载\n",
      "网络时代的青少年与共青团工作研究----已下载\n",
      "电视与网络融合的对策探讨----已下载\n",
      "“无暇之人”——数字网络新媒体语境中的主体建构逻辑省思----已下载\n",
      "开放API  开放内容——《纽约时报》《卫报》的网络战略转向新途径探析----已下载\n",
      "新媒体语境下的网络深度报道研究----已下载\n",
      "网络媒体产业的中国模式审视----已下载\n",
      "网络广播电视融入图书馆服务之探讨----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 107\n",
    "end_count = 174\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(6)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(6)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2.5)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") \n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 0\n",
    "end_count = 174\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(6)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(6)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2.5)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： 5ct4\n",
      "验证码识别： ccp4\n",
      "验证码识别： ccp4\n",
      "对网络时代报纸价值重塑的思考----已下载\n",
      "电视与网络联动  互惠实现共赢----已下载\n",
      "网络媒介时代中国共产党的形象建构----已下载\n",
      "网络时代报业的变与不变——英国报业转型发展的启示----已下载\n",
      "网络时代政策议程设置机制研究----已下载\n",
      "泛网络时代手机媒体与社会个体化的关系思考----已下载\n",
      "网络观发展与新媒体执政能力提升——关于党的十八大报告中“互联网”的政治传播学解读----已下载\n",
      "网络表达视角下“草根文化”发展探析----已下载\n",
      "缺席的在场:网络社会运动的时空逻辑----已下载\n",
      "新媒体艺术研究的理论设定与网络文学的研究视野----已下载\n",
      "公共舆论危机中的地方政府微博回应与网络沟通——基于深圳“5.26飙车事件”的个案分析----已下载\n",
      "网络危机事件中非政府组织的新媒体公关策略——以“郭美美与红十字会危机”为例----已下载\n",
      "中国网络上的意识形态----已下载\n",
      "全面分众化时代的来临——网络媒体前景展望----已下载\n",
      "新媒体时代高校网络舆情的研判及应对策略----已下载\n",
      "中国网络传播研究现状及特点----已下载\n",
      "网络文化视阈下的中国大学文化及其建设路径探究----已下载\n",
      "从“受众”到“使用者”:网络环境下视听信息接收者的变迁----已下载\n",
      "论高校“微网络公开课”的建设----已下载\n",
      "第二十一届中国国际广播电视信息网络展览会即将召开----已下载\n",
      "社交电视:传统电视的社会化生存及其网络分析----已下载\n",
      "突发公共事件网络舆情的形成及演变机制研究----已下载\n",
      "多级传播路径下的网络视听信息影响力评估体系建构----已下载\n",
      "虚拟社会中网络舆情的现状研究——基于360个网络热点新闻的文本分析----已下载\n",
      "网络艺术中的新媒体语言方式----已下载\n",
      "作为政府与公众间距离协调机制的网络政治沟通研究----已下载\n",
      "我国政府利用微博引导突发事件网络舆论的初探----已下载\n",
      "新媒体环境下当代中国网络监督的困境与出路----已下载\n",
      "政治信息的“微传播”——以2012年台湾地区领导人选举中的网络传播为例----已下载\n",
      "网络群体传播中反向社会情绪的放大效应及其疏导----已下载\n",
      "基于网络视域下的信息管理工作研究----已下载\n",
      "基于网络舆情研判的突发事件应急舆论引导----已下载\n",
      "身份认同的建构:网络媒介生态下艺术社会关系探析----已下载\n",
      "新媒体视阈下科技期刊网络营销可行性分析及策略体系构建研究----已下载\n",
      "新媒体,新中国?  网络使用与美国人的中国形象认知----已下载\n",
      "网络社会语境下突发公共事件中大学生的道德观表现及价值追求----已下载\n",
      "网络反腐态势及规范化引导----已下载\n",
      "基于新媒体环境下网络媒体失范行为的分析研究----已下载\n",
      "基于社交网络的境外博物馆新型传播服务及其对图书馆的启示----已下载\n",
      "网络学术问责的有效性及其限度分析----已下载\n",
      "网络新媒体时代旅游网络舆情研究:源起、价值与构想----已下载\n",
      "数字新媒体竞争环境分析——以网络视频业为例----已下载\n",
      "新媒体与信息网络专业人才培养的策略创新----已下载\n",
      "中国西部城乡网络与手机等新媒体使用研究----已下载\n",
      "网络拟态环境的隐性风险及其治理----已下载\n",
      "牢牢掌握网络舆论工作主动权----已下载\n",
      "网络反腐的符号传播逻辑及其社会整合作用——以“杨达才事件”为例----已下载\n",
      "网络媒体应主动承担社会责任----已下载\n",
      "网络媒体反腐的总体态势及问题——以十八大以来网络媒体反腐案件为例----已下载\n",
      "网络与新媒体学科发展路径的探析----已下载\n",
      "从技术到政治:中国网络公共空间的特性分析----已下载\n",
      "论网络新媒体马克思主义大众化传播的三重维度----已下载\n",
      "新媒体时代网络诽谤的构成与责任探析----已下载\n",
      "国际网络外交策略模式研究----已下载\n",
      "2013年网络舆情走势和社会舆论格局----已下载\n",
      "北京网络广播电视台开播----已下载\n",
      "网络公共空间中城管形象的污名化与突围之路——以武汉“城管卧底”事件为例----已下载\n",
      "网络新媒体与韩国社会选举的兴起——以推特为例----已下载\n",
      "2013年网络新媒体研究热点透析----已下载\n",
      "公民参与视角下的网络反腐研究——基于2008-2012年网络反腐典型案件的分析----已下载\n",
      "新媒体技术下的网络广告创意表现----已下载\n",
      "试析新媒体语境下虚实交织的网络群体性事件发生机理及应对措施——以启东事件为例----已下载\n",
      "网络新媒体的文化基因探寻----已下载\n",
      "我国网络与新媒体人才求调研与专业培养----已下载\n",
      "新媒体技术发展对网络舆情信息工作的影响研究----已下载\n",
      "网络电视收视的新维度:技术和情境的取向----已下载\n",
      "社会资本视角下的网络青年职业自组织研究——以“人力葵花同学会”为例----已下载\n",
      "专业性网络自组织的新媒体使用研究——以互联网翻译小组“抖森翻译军团”为例----已下载\n",
      "青年迷群自组织舆论场的影响力分析——以青年影迷网络自组织为例----已下载\n",
      "网络新闻从业者的媒介使用——“中国网络新闻从业者生存状况调查报告”之三----已下载\n",
      "广电网络传输平台多元化发展路径探析——基于对4家网络传输公司的案例研究----已下载\n",
      "新媒体环境下大学生网络舆情实证研究——基于西安地区部分高校的调查分析----已下载\n",
      "突发公共事件网络舆情的引导策略----已下载\n",
      "网络与新媒体传播失范探析----已下载\n",
      "公共事件中网络谣言传播实证分析——基于2010～2012年间网络谣言信息的研究----已下载\n",
      "网络脱口秀节目的话语表达----已下载\n",
      "提升网络电视台的用户体验----已下载\n",
      "传播正能量:大学生网络交际的准则及引领----已下载\n",
      "4G时代网络广播电视台发展定位思考----已下载\n",
      "新媒体时代民间公益组织网络传播进路及拓展策略----已下载\n",
      "消费网络外部性、文化亲近与文化产品贸易——基于中国双边文化产品贸易的实证分析----已下载\n",
      "新媒体时代网络信息法治化的重要意义----已下载\n",
      "新媒体拟态环境对大学生网络舆情的影响及应对----已下载\n",
      "新媒体视域下网络群体极化的成因及对策----已下载\n",
      "网络时代小众杂志路在何方——以古典音乐杂志为例----已下载\n",
      "产业化背景下网络文学改编剧的契机与挑战——以《失恋33天》和《等风来》为例----已下载\n",
      "新媒体语境下网络舆论发展20年----已下载\n",
      "新媒体环境下技术与规则的博弈——以“网络实名制”引发的争论为例----已下载\n",
      "新媒体时代网络隐私权的法律保护原则----已下载\n",
      "4G网络——纸媒实现自身发展的新机遇----已下载\n",
      "新媒体与“善治”的可能——基于中外网络慈善监管的比较研究----已下载\n",
      "国家安全监管总局发布《安全生产网络舆情应对预案》----已下载\n",
      "基于新媒体环境下的网络广播发展的思考----已下载\n",
      "4G网络技术对广播电视的影响及对策----已下载\n",
      "网络时代城市电视台的传播主动权----已下载\n",
      "不是产业链,而是价值网络——理解新媒体语境下动漫产业的新价值观----已下载\n",
      "网络时代的数字付费电视----已下载\n",
      "推动网络新媒体形成客观理性的网络生态----已下载\n",
      "现状、界定与研究方法——少数民族网络文学批评基本问题----已下载\n",
      "基于典型案例研究的中外青年网络政治参与比较及启示----已下载\n",
      "论网络背景下的高校意识形态安全建设----已下载\n",
      "网络媒体作品使用版权问题座谈会在京召开管理部门重申依法维权----已下载\n",
      "加快转型  促进融合——纪念中国互联网发展与传媒业网络发展20年----已下载\n",
      "红旗规则下新媒体网络编辑防范侵权的合理注意义务----已下载\n",
      "实名举报:网络舆论监督的可能性----已下载\n",
      "当前教育网络舆情特点分析与对策思考——基于2013年教育网络舆情发展演变的实证研究----已下载\n",
      "试论新媒体时代大学生网络政治参与及其发展趋势----已下载\n",
      "网络“小清新”亚文化的展演与魅惑----已下载\n",
      "“东莞扫黄风暴”中的网络民粹主义传播实践----已下载\n",
      "我国网络谣言研究议题与内容文献分析——以CNKI数据库2002-2013年为样本----已下载\n",
      "中国网络群体性事件:基于媒体多元互动的分析路径----已下载\n",
      "网络围观的公共话语表达新范式及其动力因素研究----已下载\n",
      "新媒体时代网络电视节目发展研究----已下载\n",
      "青年网络趣缘群体的构成要素及其引导策略分析----已下载\n",
      "复杂性视角下网络舆情的三个分期----已下载\n",
      "社会化网络的发展与文化产业的演进特征----已下载\n",
      "网络流行语概念及特征辨析----已下载\n",
      "社交网络环境下高校辅导员媒介素养的提升方略----已下载\n",
      "网络新媒体时代的舆情风险特征——以雾霾天气的社会涟漪效应为例----已下载\n",
      "城市台网络新媒体的发展历程与探索----已下载\n",
      "新媒体时代网络阅读与传统纸质阅读之争——当前青少年网络阅读的现状、特点及对策思考----已下载\n",
      "旅游网络舆情危机事件的时空分布规律研究----已下载\n",
      "媒体融合背景下的我国网络新媒体产业安全研究----已下载\n",
      "网络谣言兴盛的原因及应对策略探析----已下载\n",
      "新媒体视域下如何规避网络谣言传播----已下载\n",
      "调侃·狂欢·抵抗——网络空间中民众化转向的另类表达与实践----已下载\n",
      "从个人摄影的转变看社交网络时代的人际交往----已下载\n",
      "中国网络舆情研究的现状、问题及对策----已下载\n",
      "从一云多屏到多屏互动——中国网络电视台台网融合的探索与实践----已下载\n",
      "移动互联网视阈下群体性事件的网络舆情变化研究----已下载\n",
      "网络拓扑特征对病毒式营销传播动态影响的研究——基于新浪微博大数据的实证分析----已下载\n",
      "建构与解构:山寨文化产业对文化伦理的影响——以网络平台和新媒体技术应用下的娱乐业为例----已下载\n",
      "新媒体时代大学生网络自组织发展现状与管理----已下载\n",
      "企业创造内容型网络口碑传播效果的影响因素研究——基于新浪微博的网络口碑传播实证分析----已下载\n",
      "突发公共事件中媒体角色与网络舆论引导思路----已下载\n",
      "昆山网络议事厅搭建百姓问政新平台----已下载\n",
      "新媒体时代的网络谣言传播与控制探析——由桑斯坦《谣言》展开的分析----已下载\n",
      "基于角色引导的大学生网络舆情治理与思政教育协同模式研究----已下载\n",
      "中国网络自制剧的勃兴、问题及发展思路----已下载\n",
      "中国网络群体事件的主要特征和研究框架----已下载\n",
      "新媒体环境下高校思想政治理论课教学网络阵地拓展探析----已下载\n",
      "网络问政的法治反思----已下载\n",
      "后埃及革命:网络对阿拉伯威权国家的影响----已下载\n",
      "北京网络广播电视台“大媒体·大客户计划”说明会在京召开----已下载\n",
      "涉腐网络舆论之蝴蝶效应:兴起、原因及因应——以2013年五个网络案例为中心----已下载\n",
      "新媒体时代网络突发事件的传播及舆情引导----已下载\n",
      "媒介融合语境下传统媒体与社交网络的合作及启示----已下载\n",
      "网络时代传统媒体的活动营销之路探索----已下载\n",
      "让信息传播更生动  让网络世界更精彩——在第二届中国网络视听大会开幕式上的主旨演讲----已下载\n",
      "网络环境下地方政府公共危机公关研究----已下载\n",
      "全球理论、本土实践与现实情怀——2014年网络群体事件的研究综述----已下载\n",
      "网络新闻工作者互联网新闻政策评价调查报告----已下载\n",
      "媒介融合与网络强国:互联网改变中国——2015《现代传播》年度对话----已下载\n",
      "网络诗词:新媒体时代的文化记忆----已下载\n",
      "基于政治传播学视角的网络政治谣言生成机制及控制策略研究----已下载\n",
      "网络环境下大学生对隐私保护倾向从宽原则——从“外滩拥挤踩踏事件”报道的伦理争议说起----已下载\n",
      "2014年中国网络舆情研究报告----已下载\n",
      "媒体融合下的网络编辑创新及实践进展——第十届全国网络编辑年会暨数字出版与新媒体研讨会综述----已下载\n",
      "基于营利的变革:网络时代新闻业的创新与突围----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 174\n",
    "end_count = 500\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： ff3w\n",
      "验证码识别： ff3w\n",
      "网络流行语概念及特征辨析----已下载\n",
      "社交网络环境下高校辅导员媒介素养的提升方略----已下载\n",
      "网络新媒体时代的舆情风险特征——以雾霾天气的社会涟漪效应为例----已下载\n",
      "城市台网络新媒体的发展历程与探索----已下载\n",
      "新媒体时代网络阅读与传统纸质阅读之争——当前青少年网络阅读的现状、特点及对策思考----已下载\n",
      "旅游网络舆情危机事件的时空分布规律研究----已下载\n",
      "媒体融合背景下的我国网络新媒体产业安全研究----已下载\n",
      "网络谣言兴盛的原因及应对策略探析----已下载\n",
      "新媒体视域下如何规避网络谣言传播----已下载\n",
      "调侃·狂欢·抵抗——网络空间中民众化转向的另类表达与实践----已下载\n",
      "从个人摄影的转变看社交网络时代的人际交往----已下载\n",
      "中国网络舆情研究的现状、问题及对策----已下载\n",
      "从一云多屏到多屏互动——中国网络电视台台网融合的探索与实践----已下载\n",
      "移动互联网视阈下群体性事件的网络舆情变化研究----已下载\n",
      "网络拓扑特征对病毒式营销传播动态影响的研究——基于新浪微博大数据的实证分析----已下载\n",
      "建构与解构:山寨文化产业对文化伦理的影响——以网络平台和新媒体技术应用下的娱乐业为例----已下载\n",
      "新媒体时代大学生网络自组织发展现状与管理----已下载\n",
      "企业创造内容型网络口碑传播效果的影响因素研究——基于新浪微博的网络口碑传播实证分析----已下载\n",
      "突发公共事件中媒体角色与网络舆论引导思路----已下载\n",
      "昆山网络议事厅搭建百姓问政新平台----已下载\n",
      "新媒体时代的网络谣言传播与控制探析——由桑斯坦《谣言》展开的分析----已下载\n",
      "基于角色引导的大学生网络舆情治理与思政教育协同模式研究----已下载\n",
      "中国网络自制剧的勃兴、问题及发展思路----已下载\n",
      "中国网络群体事件的主要特征和研究框架----已下载\n",
      "新媒体环境下高校思想政治理论课教学网络阵地拓展探析----已下载\n",
      "网络问政的法治反思----已下载\n",
      "后埃及革命:网络对阿拉伯威权国家的影响----已下载\n",
      "北京网络广播电视台“大媒体·大客户计划”说明会在京召开----已下载\n",
      "涉腐网络舆论之蝴蝶效应:兴起、原因及因应——以2013年五个网络案例为中心----已下载\n",
      "新媒体时代网络突发事件的传播及舆情引导----已下载\n",
      "媒介融合语境下传统媒体与社交网络的合作及启示----已下载\n",
      "网络时代传统媒体的活动营销之路探索----已下载\n",
      "让信息传播更生动  让网络世界更精彩——在第二届中国网络视听大会开幕式上的主旨演讲----已下载\n",
      "网络环境下地方政府公共危机公关研究----已下载\n",
      "全球理论、本土实践与现实情怀——2014年网络群体事件的研究综述----已下载\n",
      "网络新闻工作者互联网新闻政策评价调查报告----已下载\n",
      "媒介融合与网络强国:互联网改变中国——2015《现代传播》年度对话----已下载\n",
      "网络诗词:新媒体时代的文化记忆----已下载\n",
      "基于政治传播学视角的网络政治谣言生成机制及控制策略研究----已下载\n",
      "网络环境下大学生对隐私保护倾向从宽原则——从“外滩拥挤踩踏事件”报道的伦理争议说起----已下载\n",
      "2014年中国网络舆情研究报告----已下载\n",
      "媒体融合下的网络编辑创新及实践进展——第十届全国网络编辑年会暨数字出版与新媒体研讨会综述----已下载\n",
      "基于营利的变革:网络时代新闻业的创新与突围----已下载\n",
      "巴西世界杯期间网络媒体对CCTV-5优势地位的冲击研究----已下载\n",
      "新媒体视野下网络文学影视改编的对策探析----已下载\n",
      "网络与新媒体专业的缘起、动态及其建设探究----已下载\n",
      "编辑把关视域中的网络谣言及其应对策略----已下载\n",
      "广播媒体在新媒体环境下的转型发展之路——以网络广播为例----已下载\n",
      "融合发展:“央视新闻”新媒体的探索——访央视新闻中心策划部、网络新闻部主任杨继红----已下载\n",
      "新媒体与网络群体性事件——访哈佛大学燕京学社社长裴宜理教授----已下载\n",
      "“机制创新”推进网络新媒体马克思主义大众化传播----已下载\n",
      "网络文学的现状与取向----已下载\n",
      "2014年网络新媒体研究新触点及走向----已下载\n",
      "网络思想政治教育创新与实践——以中南大学网络思想政治教育探索为例----已下载\n",
      "传播社会学视角下的网络传播伦理失范治理----已下载\n",
      "电视节目网络传播的启示----已下载\n",
      "传播学视角下的“网络移民”现象探析----已下载\n",
      "媒体融合下的网络电视台建设----已下载\n",
      "节目网络影响力监测研究助力央视全媒体战略转型----已下载\n",
      "网络原生传播的现实机理----已下载\n",
      "新媒体时代“疆独”网络分裂主义及其治理----已下载\n",
      "网络集群——大学生思想政治教育的时代课题----已下载\n",
      "网络环境下《中国药科大学学报》学术影响力进一步提升----已下载\n",
      "网络整合后县级台发展空间探析----已下载\n",
      "论Web2.0网络环境下地方高校的“教”与“交”----已下载\n",
      "网络媒体“更年期”修辞与转型中国的市场经济----已下载\n",
      "复杂网络环境下的信息路径分析----已下载\n",
      "新媒体融合语境下网络群体对舆论生成的影响----已下载\n",
      "当前高校网络思想政治教育的发展特征与建设思考----已下载\n",
      "新媒体视域下网络舆情与国家治理现代化关系及治理路径——基于博弈论的视角----已下载\n",
      "网络治理:政策工具与推进逻辑----已下载\n",
      "网络视听节目审核员制度的完善----已下载\n",
      "建立需求导向的网络舆情应对机制----已下载\n",
      "网络环境下社会主义核心价值观培育----已下载\n",
      "旅游突发事件中的网络舆情预警研究----已下载\n",
      "“培育社会主义核心价值观  繁荣高校网络文化”论坛暨第二届上海高校网络文化建设论坛综述----已下载\n",
      "传统主流媒体与网络公共领域的内在机理----已下载\n",
      "新媒体视域下大学生网络道德教育探究----已下载\n",
      "后全民纪录时代网络微纪录片发展的新动向----已下载\n",
      "新媒体推动公共服务供给转向合作治理模式研究——基于网络社区的形成和功能的分析----已下载\n",
      "第二届大河新媒体发展论坛暨中国网络视频满意度博雅榜发布会召开----已下载\n",
      "论网络信息化时代的媒资管理----已下载\n",
      "移动网络时代传统媒体的转型升级----已下载\n",
      "大数据时代网络抗争治理——基于江苏启东事件的个案研究----已下载\n",
      "网络危机中依法提升政府公信力的探讨----已下载\n",
      "危机管理模式下新媒体网络舆情治理路径研究----已下载\n",
      "构建大学生廉洁文化传播的立体网络----已下载\n",
      "新媒体时代网络评论观点信息发现机制研究----已下载\n",
      "再论电视与网络视频之间的关系----已下载\n",
      "网络事件:学术取向与现状趋势——美国宾夕法尼亚大学杨国斌教授访谈录----已下载\n",
      "网络电视台发展的现状及对策----已下载\n",
      "出版什么,读什么?还是读什么,出版什么?——兼论网络时代出版人的社会责任----已下载\n",
      "新媒体背景下的网络纪录片创作——以澳大利亚SBS广播公司的纪录片节目为例----已下载\n",
      "高校图书馆嵌入式社交网络平台的建设与研究——以哈尔滨工业大学为例----已下载\n",
      "新媒体视野下网络语言的语体特征----已下载\n",
      "试析网络新媒体在台湾政治传播中的运用——以2014年台北市长选举为例----已下载\n",
      "城市反噪声网络舆情与公民赋权——以H市快速路建设新浪微博舆情为例----已下载\n",
      "中国网络色情治理的难题及应对:政府公共权力运行的视角----已下载\n",
      "网络时代的我国科技期刊质量提升----已下载\n",
      "网络社会形态下的中国电影新竞争力观察----已下载\n",
      "新媒体时代下应对网络突发群体性事件研究----已下载\n",
      "传统电视节目与网络自制节目的博弈与发展----已下载\n",
      "网络环境下高校思想政治教育信息服务平台构建----已下载\n",
      "网络新修辞与转型中国的性别秩序重塑及阶层关系重构——以“局吊丝”为例----已下载\n",
      "缺场在线与在场缺位——网络社交殖民化现象研究----已下载\n",
      "新媒体产品创新的行动者网络理论研究----已下载\n",
      "基于共生理念的网络时代阅读推广策略研究----已下载\n",
      "直播节目网络同步盗播的版权规制困境与应对----已下载\n",
      "网络新媒体资源开发模式研究----已下载\n",
      "关于新媒体形势下高校网络舆情现状的调研报告——基于高校开展党员舆情引导工作的必要性及措施研究----已下载\n",
      "大型体育赛事网络传播中城市形象的提升——以十二运为例----已下载\n",
      "转型与突围:网络电视台的市场化运营之道----已下载\n",
      "网络舆情视域下政府公信力的重塑与提升----已下载\n",
      "网络信息技术发展与意识形态安全----已下载\n",
      "新媒体与新批评:网络文学批评的“诗性”理解----已下载\n",
      "新媒体环境下的网络谣言应对与舆情引导----已下载\n",
      "新媒体时代网络投资者意见分歧对IPO溢价影响——基于股票论坛数据挖掘方法----已下载\n",
      "警惕“e军备”竞赛灾难  建构网络国际安全保障机制----已下载\n",
      "浅议新媒体环境下网络视频在少年儿童图书馆服务中的运用——以温州市少年儿童图书馆“九色鹿”少儿演播室为例----已下载\n",
      "衍生型突发事件网络舆情引导机制研究----已下载\n",
      "论网络广告的创意语言及其影响下的艺术美感----已下载\n",
      "试析传统媒体报道网络议题时的新闻价值缺失现象----已下载\n",
      "2015年全国高校思想政治理论课新修订教材网络培训圆满落幕----已下载\n",
      "中国政务微博的发展现状及对策研究——基于对新浪省级政府微博的网络调查----已下载\n",
      "网络环境下编辑能力的四个拓展----已下载\n",
      "运用新媒体网络平台促进大学生科研训练----已下载\n",
      "网络新媒体视域下以文化人在社会主义核心价值观宣传教育体系中的应用研究----已下载\n",
      "网络广告对电视广告效应的影响分析----已下载\n",
      "试析互联网语境下我国纪录片的网络形态----已下载\n",
      "公共议程设置中微博舆情互动的社会网络分析----已下载\n",
      "网络时代社会主义文化领导权的重建?——国家、知识分子与工人阶级政治传播----已下载\n",
      "网络涉腐舆情的发生模式、衍生效应与治理创新----已下载\n",
      "2015年《红楼梦》报纸、网络与新媒体传播及年度活动述评----已下载\n",
      "新媒体时代大学生网络伦理道德失范教育的法治化思考----已下载\n",
      "提升网络学术期刊传播能力的实践与思考----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 275\n",
    "end_count = 500\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： 9sa4\n",
      "验证码识别： bfw6\n",
      "验证码识别： bfw6\n",
      "网络环境下高校思想政治教育信息服务平台构建----已下载\n",
      "网络新修辞与转型中国的性别秩序重塑及阶层关系重构——以“局吊丝”为例----已下载\n",
      "缺场在线与在场缺位——网络社交殖民化现象研究----已下载\n",
      "新媒体产品创新的行动者网络理论研究----已下载\n",
      "基于共生理念的网络时代阅读推广策略研究----已下载\n",
      "直播节目网络同步盗播的版权规制困境与应对----已下载\n",
      "网络新媒体资源开发模式研究----已下载\n",
      "关于新媒体形势下高校网络舆情现状的调研报告——基于高校开展党员舆情引导工作的必要性及措施研究----已下载\n",
      "大型体育赛事网络传播中城市形象的提升——以十二运为例----已下载\n",
      "转型与突围:网络电视台的市场化运营之道----已下载\n",
      "网络舆情视域下政府公信力的重塑与提升----已下载\n",
      "网络信息技术发展与意识形态安全----已下载\n",
      "新媒体与新批评:网络文学批评的“诗性”理解----已下载\n",
      "新媒体环境下的网络谣言应对与舆情引导----已下载\n",
      "新媒体时代网络投资者意见分歧对IPO溢价影响——基于股票论坛数据挖掘方法----已下载\n",
      "警惕“e军备”竞赛灾难  建构网络国际安全保障机制----已下载\n",
      "浅议新媒体环境下网络视频在少年儿童图书馆服务中的运用——以温州市少年儿童图书馆“九色鹿”少儿演播室为例----已下载\n",
      "衍生型突发事件网络舆情引导机制研究----已下载\n",
      "论网络广告的创意语言及其影响下的艺术美感----已下载\n",
      "试析传统媒体报道网络议题时的新闻价值缺失现象----已下载\n",
      "2015年全国高校思想政治理论课新修订教材网络培训圆满落幕----已下载\n",
      "中国政务微博的发展现状及对策研究——基于对新浪省级政府微博的网络调查----已下载\n",
      "网络环境下编辑能力的四个拓展----已下载\n",
      "运用新媒体网络平台促进大学生科研训练----已下载\n",
      "网络新媒体视域下以文化人在社会主义核心价值观宣传教育体系中的应用研究----已下载\n",
      "网络广告对电视广告效应的影响分析----已下载\n",
      "试析互联网语境下我国纪录片的网络形态----已下载\n",
      "公共议程设置中微博舆情互动的社会网络分析----已下载\n",
      "网络时代社会主义文化领导权的重建?——国家、知识分子与工人阶级政治传播----已下载\n",
      "网络涉腐舆情的发生模式、衍生效应与治理创新----已下载\n",
      "2015年《红楼梦》报纸、网络与新媒体传播及年度活动述评----已下载\n",
      "新媒体时代大学生网络伦理道德失范教育的法治化思考----已下载\n",
      "提升网络学术期刊传播能力的实践与思考----已下载\n",
      "新媒体下网络政治发展及政府治理----已下载\n",
      "新媒体环境下网络自制娱乐资讯节目的新样态----已下载\n",
      "从网络集群行为到网络集体行动——网络群体性事件及相关研究的学理反思----已下载\n",
      "上市公司网络新媒体信息披露研究:基于微博的实证分析----已下载\n",
      "中国网络剧的审美意义----已下载\n",
      "网络出版编辑管理及其人才队伍建设初探----已下载\n",
      "警惕历史虚无主义荼毒新媒体网络空间----已下载\n",
      "网络新媒体技术在创新创业人才培养中的作用----已下载\n",
      "程序化购买与网络广告生态圈变革----已下载\n",
      "传统媒体对网络舆情的建构功能初探----已下载\n",
      "基于社会网络的新媒体网络舆情信息传播研究——以反腐倡廉话题为例----已下载\n",
      "银川市图书馆开展“网络书香过大年”“春节楹联”主题文化活动----已下载\n",
      "网络信息传播中的舆论偏向与社会治理——基于两起网络虚假信息事件的传播分析----已下载\n",
      "主流媒体加强创新  构建网络舆论阵地----已下载\n",
      "北京网络游戏用户策略对媒体融合的启示----已下载\n",
      "新媒体环境下校园网络阅读的研究与实践——以“书香成电”为例----已下载\n",
      "“多源流理论”视阈下网络社会政策议程设置现代化——以出租车改革为例----已下载\n",
      "国内外有关中国网络公共事件研究的比较——基于286篇研究文献的实证分析----已下载\n",
      "台湾网络政治参与的兴起及其对政治生态的影响----已下载\n",
      "论网络新媒体背景下高校意识形态管理----已下载\n",
      "网络主播的特性与监管----已下载\n",
      "从网络众筹节目《黄河大合唱》探析媒体融合之道----已下载\n",
      "公众的政府服务渠道选择行为——基于网络渠道与传统渠道的对比分析----已下载\n",
      "第九期“网络传播沙龙”在北京举行----已下载\n",
      "浅谈网络视频对科技声像情报工作的影响----已下载\n",
      "聚焦网络剧----已下载\n",
      "网络自制剧:技术变革与文化生产----已下载\n",
      "网络流行语与青年思想政治教育网络话语权的重塑----已下载\n",
      "网络新媒体名誉侵权案的基本问题与审理对策研究——以“曾某诉蒋某某名誉侵权纠纷案”为例----已下载\n",
      "中国网络视频产业:历史、现状及挑战----已下载\n",
      "移动互联网络的场景构建与传播模式变迁----已下载\n",
      "试论我国网络文化产业自主创新带动战略的构建----已下载\n",
      "网络新常态下推进民族统战工作的策略研究----已下载\n",
      "网络时政新闻的亲近性文本研究——以三家央媒2016年全国“两会”报道为例----已下载\n",
      "全媒体时代如何有效加强党的网络舆论主导权----已下载\n",
      "论新媒体环境下网络社会管理的“四位一体”模式----已下载\n",
      "集体行动方式的网络回应----已下载\n",
      "数字图书馆推广工程背景下少儿图书馆网络信息服务对策----已下载\n",
      "“网络收音机”对新闻广播的影响与对策----已下载\n",
      "新时期中国共产党网络舆论引导机制研究----已下载\n",
      "网络的社会风险放大效应研究——基于公共卫生事件----已下载\n",
      "高校校园网络文化产品的发展现状和创作原则----已下载\n",
      "基于网络媒体的高校思政教育探究——评《人文关怀视阈下高校网络思想政治教育实施方法研究》----已下载\n",
      "政府治理现代化与领导干部网络舆情引导力----已下载\n",
      "传统主流媒体要勇于担当起正确应对网络舆情之责----已下载\n",
      "网络谣言的成因及防控对策----已下载\n",
      "网络舆论引导面临的挑战和应对措施----已下载\n",
      "新媒体视域下的宗教传播与社会治理研究:以佛教网络群体为线索----已下载\n",
      "意义实现和再造:商业网络水军的另一种解读——基于“新媒体与社会心理”学术对话的思考----已下载\n",
      "信息传播链视角下国产艺术电影的网络营销及其价值提升----已下载\n",
      "移动互联网时代新媒体事件的网络协商与群体极化——基于“成都女司机被打”事件的内容与文本分析----已下载\n",
      "我国政府应对网络新媒体意见领袖的方式变革及评析----已下载\n",
      "鲁豫涉足网络直播红海的三重意义----已下载\n",
      "新媒体环境下企业知识共享网络结构研究——基于社会网络分析法----已下载\n",
      "新媒体应用开放平台的云传播网络模型及结构特征分析----已下载\n",
      "庭审网络直播——司法公开的新型方式与中国范式----已下载\n",
      "移动互联网语境下里约奥运会网络视频的商业模式与文化影响----已下载\n",
      "新媒体视角下网络热点事件信息传播结构及模型研究——基于2012-2014年30件网络热点事件----已下载\n",
      "新媒体环境下网络舆情演化模型及仿真研究——基于信息生态视角----已下载\n",
      "中国化马克思主义引领当代中国网络文化探析----已下载\n",
      "从《网络时代的爱情》看新媒体语境下的艺术出路----已下载\n",
      "U型理论视角下的高校网络舆情危机与形象建设----已下载\n",
      "从传播学视角思考网络舆情的应对之策----已下载\n",
      "新生代农民工QQ使用与社会资本研究——基于社会网络分析的视角----已下载\n",
      "地方政府网络媒体在线交互成熟度评估研究——以上海市政府网络媒体为例----已下载\n",
      "新媒体视域下高校网络思想政治教育的实践与思考----已下载\n",
      "网络政治化背景下的主流意识形态传播研究----已下载\n",
      "中国共产党提升网络新闻舆论引导力研究----已下载\n",
      "“中国军视网”努力提升网络舆论的引导能力----已下载\n",
      "谈新媒体时代的电视语体与网络语体----已下载\n",
      "网络新媒介群体行为的特征与分析----已下载\n",
      "新媒体环境下高校网络思想政治教育新理路——基于议程设置理论的解析----已下载\n",
      "新媒体语境下的网络泛娱乐化机理探究----已下载\n",
      "网络口碑的传播学特征与社会效应----已下载\n",
      "公众如何看待科学家参与政策制定:从科学素养、社会网络和信任的角度----已下载\n",
      "新媒体时代马克思主义网络传播的话语演进----已下载\n",
      "网络媒体的发展趋势----已下载\n",
      "谁来豢养看门狗:社交网络时代新闻媒体的商业模式----已下载\n",
      "新型主流媒体如何从“相加”走向“相融”——第四届中国网络视听大会“媒体融合发展台长峰会”综述----已下载\n",
      "网络流行语风格发凡----已下载\n",
      "微信社会性阅读是如何发生的?——基于整体社会网络的视角----已下载\n",
      "2016年《红楼梦》报纸、网络与新媒体传播及年度活动述评----已下载\n",
      "网络知识传播的沿革与新特征----已下载\n",
      "技术赋权与政策学习网络的转变:以微博热议PM2.5事件为例----已下载\n",
      "网络新媒体背景下高校意识形态安全建设再探----已下载\n",
      "网络视听新媒体的态势与监管问题----已下载\n",
      "我国P2P网络借贷平台信息服务改进策略研究——基于20家知名平台的实证分析----已下载\n",
      "网络集群行为参与立法变革的机制和反思——以山东问题疫苗事件为例----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 376\n",
    "end_count = 500\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： ryap\n",
      "验证码识别： ekap\n",
      "验证码识别： wmw2\n",
      "验证码识别： wmw2\n",
      "网络新媒介群体行为的特征与分析----已下载\n",
      "新媒体环境下高校网络思想政治教育新理路——基于议程设置理论的解析----已下载\n",
      "新媒体语境下的网络泛娱乐化机理探究----已下载\n",
      "网络口碑的传播学特征与社会效应----已下载\n",
      "公众如何看待科学家参与政策制定:从科学素养、社会网络和信任的角度----已下载\n",
      "新媒体时代马克思主义网络传播的话语演进----已下载\n",
      "网络媒体的发展趋势----已下载\n",
      "谁来豢养看门狗:社交网络时代新闻媒体的商业模式----已下载\n",
      "新型主流媒体如何从“相加”走向“相融”——第四届中国网络视听大会“媒体融合发展台长峰会”综述----已下载\n",
      "网络流行语风格发凡----已下载\n",
      "微信社会性阅读是如何发生的?——基于整体社会网络的视角----已下载\n",
      "2016年《红楼梦》报纸、网络与新媒体传播及年度活动述评----已下载\n",
      "网络知识传播的沿革与新特征----已下载\n",
      "技术赋权与政策学习网络的转变:以微博热议PM2.5事件为例----已下载\n",
      "网络新媒体背景下高校意识形态安全建设再探----已下载\n",
      "网络视听新媒体的态势与监管问题----已下载\n",
      "我国P2P网络借贷平台信息服务改进策略研究——基于20家知名平台的实证分析----已下载\n",
      "网络集群行为参与立法变革的机制和反思——以山东问题疫苗事件为例----已下载\n",
      "浅析在线式网络文学批评----已下载\n",
      "网络文化类节目的现状及发展策略----已下载\n",
      "网络环境下顾客参与品牌价值共创模式与机制研究——以小米手机为例----已下载\n",
      "动漫传播研究的新视角——评《虚拟异托邦:关于新媒体动漫、网络传播和青年亚文化的研究》----已下载\n",
      "信息、传播与影响:网络治理中的政府新媒体——结合大数据与小数据分析的探索----已下载\n",
      "浅谈新媒体发展对出版企业网络营销的影响----已下载\n",
      "新媒体时代我国网络意识形态建设:危局、误读与突围----已下载\n",
      "浅析新媒体时代大学生网络意见表达引导机制的构建----已下载\n",
      "新媒体时代大学生网络价值观教育的困境与应对----已下载\n",
      "网络新闻从业者生存状况调查报告----已下载\n",
      "新媒体语境下网络低俗语言的生成与传播----已下载\n",
      "中国智库网络影响力分系统对比评价研究----已下载\n",
      "大学生网络话语方式的转变及其影响----已下载\n",
      "新媒体时代的网络舆情及其治理范式的转变与创新----已下载\n",
      "社交媒体对青年价值观的解构与重构——以网络话语抗争为视角----已下载\n",
      "网络空间“中国式怨怼”问题的探讨——基于首届新媒体与社会心理学术研讨的思考----已下载\n",
      "移动互联网背景下的新媒体人才培养模式探究——以重庆第二师范学院网络与新媒体专业为例----已下载\n",
      "网络舆论压力、投资者保护和公司治理——基于股市异常停牌的经验证据----已下载\n",
      "造平台成矩阵  网络舆论大提升——“央视新闻”新媒体报道全国两会新亮点----已下载\n",
      "第25届中国数字广播电视与网络发展年会将在长沙市召开----已下载\n",
      "从“认知盈余”审视网络直播----已下载\n",
      "应用模式创新设计能力:网络与新媒体专业培养的核心目标----已下载\n",
      "论网络新媒体下高校思想政治教育的现代化发展——评《新媒体与高校思想政治教育》----已下载\n",
      "高校网络思想政治教育工作创新研究----已下载\n",
      "论新世纪文学期刊的网络传播----已下载\n",
      "我国网络舆论引导热点主题发现研究——基于共词分析与科学知识图谱----已下载\n",
      "网络社群的崛起及其社会治理意义----已下载\n",
      "网络参与式文化研究进展综述----已下载\n",
      "探析新媒体时代网络视频广告的发展----已下载\n",
      "当代中国青年国际形象的媒体建构——基于“七国集团”主要媒体2009-2016年网络报道的实证分析----已下载\n",
      "自媒体时代的网络舆论及其引导策略--基于比较视角的分析----已下载\n",
      "公众新媒体接触行为对政府形象构建的影响——基于北京市居民的网络调查分析----已下载\n",
      "“微时代”网络谣言的传播机制研究——一种基于典型案例的分析----已下载\n",
      "如何让网络生态更清朗----已下载\n",
      "警惕网络舆论的“蝴蝶效应”----已下载\n",
      "媒介融合时代大学知识的社会化传播——以高校网络视频公开课的知识传播为例----已下载\n",
      "领导干部学网用网管网  促进网络生态优化——学习习近平关于网络治理的论述----已下载\n",
      "移动环境下高校网络舆情管理创新机制及应对策略----已下载\n",
      "对中国网络自制剧的传播政治经济学考察----已下载\n",
      "新媒体英文网络语言特征及其教学价值新探----已下载\n",
      "新媒体时代关于加强网络舆论引导的对策研究----已下载\n",
      "新媒体时代高校网络党建工作模式新探——以北京大学考古文博学院为例----已下载\n",
      "探索传统广电与视听新媒体的融合发展  第25届中国数字广播电视与网络发展年会在长沙召开----已下载\n",
      "网络言论的边界在哪,如何规制----已下载\n",
      "社交网络时代中国纸质媒体转型战略研究----已下载\n",
      "突发公共卫生事件网络舆情研究现状及评述----已下载\n",
      "新媒体背景下高校网络思想政治教育新思路——基于议程设置理论的解析----已下载\n",
      "打造网络视听新媒体----已下载\n",
      "新媒体环境下社会公益网络舆情传播研究——以新浪微博“画出生命线”话题为例----已下载\n",
      "新媒体语境下网络小说影视改编的跨媒介叙事研究----已下载\n",
      "浅析在线式网络文学批评----已下载\n",
      "网络文化类节目的现状及发展策略----已下载\n",
      "网络环境下顾客参与品牌价值共创模式与机制研究——以小米手机为例----已下载\n",
      "动漫传播研究的新视角——评《虚拟异托邦:关于新媒体动漫、网络传播和青年亚文化的研究》----已下载\n",
      "信息、传播与影响:网络治理中的政府新媒体——结合大数据与小数据分析的探索----已下载\n",
      "浅谈新媒体发展对出版企业网络营销的影响----已下载\n",
      "新媒体时代我国网络意识形态建设:危局、误读与突围----已下载\n",
      "浅析新媒体时代大学生网络意见表达引导机制的构建----已下载\n",
      "新媒体时代大学生网络价值观教育的困境与应对----已下载\n",
      "网络新闻从业者生存状况调查报告----已下载\n",
      "新媒体语境下网络低俗语言的生成与传播----已下载\n",
      "中国智库网络影响力分系统对比评价研究----已下载\n",
      "大学生网络话语方式的转变及其影响----已下载\n",
      "新媒体时代的网络舆情及其治理范式的转变与创新----已下载\n",
      "社交媒体对青年价值观的解构与重构——以网络话语抗争为视角----已下载\n",
      "网络空间“中国式怨怼”问题的探讨——基于首届新媒体与社会心理学术研讨的思考----已下载\n",
      "移动互联网背景下的新媒体人才培养模式探究——以重庆第二师范学院网络与新媒体专业为例----已下载\n",
      "网络舆论压力、投资者保护和公司治理——基于股市异常停牌的经验证据----已下载\n",
      "造平台成矩阵  网络舆论大提升——“央视新闻”新媒体报道全国两会新亮点----已下载\n",
      "第25届中国数字广播电视与网络发展年会将在长沙市召开----已下载\n",
      "从“认知盈余”审视网络直播----已下载\n",
      "应用模式创新设计能力:网络与新媒体专业培养的核心目标----已下载\n",
      "论网络新媒体下高校思想政治教育的现代化发展——评《新媒体与高校思想政治教育》----已下载\n",
      "高校网络思想政治教育工作创新研究----已下载\n",
      "论新世纪文学期刊的网络传播----已下载\n",
      "我国网络舆论引导热点主题发现研究——基于共词分析与科学知识图谱----已下载\n",
      "网络社群的崛起及其社会治理意义----已下载\n",
      "网络参与式文化研究进展综述----已下载\n",
      "探析新媒体时代网络视频广告的发展----已下载\n",
      "当代中国青年国际形象的媒体建构——基于“七国集团”主要媒体2009-2016年网络报道的实证分析----已下载\n",
      "自媒体时代的网络舆论及其引导策略--基于比较视角的分析----已下载\n",
      "公众新媒体接触行为对政府形象构建的影响——基于北京市居民的网络调查分析----已下载\n",
      "“微时代”网络谣言的传播机制研究——一种基于典型案例的分析----已下载\n",
      "如何让网络生态更清朗----已下载\n",
      "警惕网络舆论的“蝴蝶效应”----已下载\n",
      "媒介融合时代大学知识的社会化传播——以高校网络视频公开课的知识传播为例----已下载\n",
      "领导干部学网用网管网  促进网络生态优化——学习习近平关于网络治理的论述----已下载\n",
      "移动环境下高校网络舆情管理创新机制及应对策略----已下载\n",
      "对中国网络自制剧的传播政治经济学考察----已下载\n",
      "新媒体英文网络语言特征及其教学价值新探----已下载\n",
      "新媒体时代关于加强网络舆论引导的对策研究----已下载\n",
      "新媒体时代高校网络党建工作模式新探——以北京大学考古文博学院为例----已下载\n",
      "探索传统广电与视听新媒体的融合发展  第25届中国数字广播电视与网络发展年会在长沙召开----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 478\n",
    "end_count = 600\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： y4p3\n",
      "验证码识别： y4p3\n",
      "自媒体时代的网络舆论及其引导策略--基于比较视角的分析----已下载\n",
      "公众新媒体接触行为对政府形象构建的影响——基于北京市居民的网络调查分析----已下载\n",
      "“微时代”网络谣言的传播机制研究——一种基于典型案例的分析----已下载\n",
      "如何让网络生态更清朗----已下载\n",
      "警惕网络舆论的“蝴蝶效应”----已下载\n",
      "媒介融合时代大学知识的社会化传播——以高校网络视频公开课的知识传播为例----已下载\n",
      "领导干部学网用网管网  促进网络生态优化——学习习近平关于网络治理的论述----已下载\n",
      "移动环境下高校网络舆情管理创新机制及应对策略----已下载\n",
      "对中国网络自制剧的传播政治经济学考察----已下载\n",
      "新媒体英文网络语言特征及其教学价值新探----已下载\n",
      "新媒体时代关于加强网络舆论引导的对策研究----已下载\n",
      "新媒体时代高校网络党建工作模式新探——以北京大学考古文博学院为例----已下载\n",
      "探索传统广电与视听新媒体的融合发展  第25届中国数字广播电视与网络发展年会在长沙召开----已下载\n",
      "网络言论的边界在哪,如何规制----已下载\n",
      "社交网络时代中国纸质媒体转型战略研究----已下载\n",
      "突发公共卫生事件网络舆情研究现状及评述----已下载\n",
      "新媒体背景下高校网络思想政治教育新思路——基于议程设置理论的解析----已下载\n",
      "打造网络视听新媒体----已下载\n",
      "新媒体环境下社会公益网络舆情传播研究——以新浪微博“画出生命线”话题为例----已下载\n",
      "新媒体语境下网络小说影视改编的跨媒介叙事研究----已下载\n",
      "网络时代新媒体作品版权侵权的法律适用问题探析----已下载\n",
      "对网络与新媒体专业人才培养模式的思考----已下载\n",
      "从舆论到网络舆论——一种环境的变迁——评《新媒体与舆论:十二个关键问题》----已下载\n",
      "新媒体编辑应对网络造假策略研究----已下载\n",
      "网络舆情在大学生群体中的传播路径----已下载\n",
      "新媒体环境下突发事件网络舆情话题演进规律研究——以新浪微博“九寨沟地震”话题为例----已下载\n",
      "新媒体视阈下高校突发事件网络舆情“蝴蝶效应”机制研究----已下载\n",
      "疏堵结合规范网络语言----已下载\n",
      "融媒体视阈下高校网络文化育人研究----已下载\n",
      "新媒体视域下网络空间治理新维度----已下载\n",
      "从“浙大新规”看学术期刊的网络有效传播----已下载\n",
      "大学生网络行为特征及教育引导——以江西10所高等学校为例----已下载\n",
      "新媒体环境下的网络舆情特征量及行为规律研究——基于信息生态理论----已下载\n",
      "网络语言暴力行为的政府规制----已下载\n",
      "互联网时代网络群体极化现象中的媒介角色----已下载\n",
      "网媒优秀作品的共性特征——综评第二十六、二十七届中国新闻奖网络新媒体获奖作品----已下载\n",
      "赋权理论与彝族文化的网络传播——以彝族文化网站为例----已下载\n",
      "网络舆论生态形成的媒介环境分析----已下载\n",
      "2017年《红楼梦》报纸、网络与新媒体传播及年度活动述评----已下载\n",
      "新媒体时代全球智库社交网络影响力探析----已下载\n",
      "研究生网络思想政治教育体系的构建与优化----已下载\n",
      "抵制历史虚无主义在网络上蔓延需精准发力----已下载\n",
      "网络新媒体信息披露对民营企业经营绩效的影响研究——基于中小板民营上市公司的实证分析----已下载\n",
      "灾害天气型关联性风险的政务信息扩散网络研究----已下载\n",
      "网络文艺的产品思维刍议----已下载\n",
      "新媒体时代网络舆论对社会权利结构的影响研究----已下载\n",
      "媒介融合环境下高校网络思想政治教育创新----已下载\n",
      "当代大学生网络运用状况的调查分析----已下载\n",
      "第17届全国互联网与音视频广播发展研讨会暨第26届中国数字广播电视与网络发展年会----已下载\n",
      "新媒体环境下自然灾害舆情传播路径及网络结构研究——以新浪微博“雅安地震”话题为例----已下载\n",
      "网络时代高校学生思想政治教育的范式转换与路径创新----已下载\n",
      "出版业网络直播营销新探索----已下载\n",
      "从文本互文到媒介互文:网络小说改编中的冲突与融合----已下载\n",
      "第17届全国互联网与音视频广播发展研讨会暨第26届中国数字广播电视与网络发展年会----已下载\n",
      "基于新媒体的网络舆情政策化议程设置研究——以多源流理论为视角----已下载\n",
      "传统媒体与新媒体微博社会网络特征对比分析实证研究----已下载\n",
      "走进新媒体世界——评《网络传播概论》----已下载\n",
      "基于信息熵的新媒体环境下网络节点影响力研究——以微信公众号为例----已下载\n",
      "网络对外传播的空间从来没有像今天这样广阔----已下载\n",
      "互联网、宽带网络与视听新媒体界的盛会  第17界全国互联网与音视频广播发展研讨会暨第26届中国数字广播电视与网络发展年会----已下载\n",
      "在网络空间奏出新时代的最强音——以光明网十九大新媒体传播创新为例----已下载\n",
      "网络社会的情绪传播高端论坛召开----已下载\n",
      "网络舆情对青少年爱国主义教育的影响分析----已下载\n",
      "德法并举治理网络谣言----已下载\n",
      "新媒体语境下的新闻生产:主体网络与主体间性----已下载\n",
      "网络社会背景下的新闻出版体制改革----已下载\n",
      "第17届全国互联网与音视频广播发展研讨会暨第26届中国数字广播电视与网络发展年会----已下载\n",
      "青年批评家如何应对网络文学?----已下载\n",
      "网络强国建设的根本指引----已下载\n",
      "网络公共事件中公众与政府的话语互动探究——以“泸县事件”为考察对象----已下载\n",
      "山东广电新媒体:以创新驱动构建网络媒体新生态----已下载\n",
      "网络视听发展现状与趋势----已下载\n",
      "网络时代“后真相”政治的动因、逻辑与应对----已下载\n",
      "图书馆网络直播服务探析——以辽宁大学图书馆为例----已下载\n",
      "网络传播环境下媒介使用的变化与启示----已下载\n",
      "高校思想政治教育网络文创产品优化策略----已下载\n",
      "网络舆情危机应对及舆论引导启示录——评《新媒体环境下的危机传播及舆论引导研究》----已下载\n",
      "模式建构与网络转型——中国影视剧“家国叙事”传统研究----已下载\n",
      "网络舆论引导的困境与破局----已下载\n",
      "回归常识:网络虚假新闻的新闻专业主义反思----已下载\n",
      "网络新媒体信息披露的经济后果研究——基于股价同步性的视角----已下载\n",
      "践行网络群众路线的四个维度----已下载\n",
      "网络视听新媒体产业融合发展研究----已下载\n",
      "新媒体时代环境议题网络问政的源起、模式演进与展望----已下载\n",
      "发挥社群网络效应  构建新型参与式出版----已下载\n",
      "纳入母题框架叙事:一种网络传播的修辞策略----已下载\n",
      "新媒体环境下网络动员双重机制探究----已下载\n",
      "网络舆论理性表达及其养成——社会学习理论视角的分析----已下载\n",
      "网络意见共同体:溯源、形成与趋势----已下载\n",
      "新媒体环境下高校网络隐性思想政治教育策略研究----已下载\n",
      "网络舆情推动下的网约车规制政策变迁逻辑——基于多源流理论的案例分析----已下载\n",
      "网络传播用语问题初探——以微信公众号为例----已下载\n",
      "新媒体环境下网络舆情用户情感演化模型研究——基于情感极性及情感强度理论----已下载\n",
      "现代网络传播与新媒体的模式改革探究——评《现代新媒体的融合与发展》----已下载\n",
      "网络自制纪录片的产制与运营研究:基于Netflix的经验----已下载\n",
      "高校文化建设中网络传播的“强效果”探究----已下载\n",
      "新媒体时代的网络道德观察与纠偏----已下载\n",
      "基于群策层次分析法的中国高校智库网络影响力评价分析----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 578\n",
    "end_count = 678\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#因为在下载第41篇文章时，遇到了因一次下载文章太多被知网显示操作频繁，请退出后重新登录的的页面。于是将所存入的所有文章下载链接进行划分，此为第二部分"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： 63aa\n",
      "验证码识别： 63aa\n",
      "新媒体环境下政府如何应对网络谣言----已下载\n",
      "新媒体环境下网络舆情治理大数据能力建设研究----已下载\n",
      "网络公共空间的知青议题与舆论引导----已下载\n",
      "信息碎片化传播对高校网络思想政治教育的挑战及对策----已下载\n",
      "主持传播网络正能量引导策略研究----已下载\n",
      "新媒体环境下网络舆情对政策间断式变迁的影响研究——基于“间断-均衡理论”视角与案例分析----已下载\n",
      "基于信息熵的新媒体环境下负面网络舆情监测指标体系研究----已下载\n",
      "后真相时代的假新闻与网络政治参与----已下载\n",
      "社交网络与数据监控:志愿者服务平台的管理模式研究----已下载\n",
      "新时代、新思想、新阵地——网络视听行业宣传贯彻习近平新时代中国特色社会主义思想综述----已下载\n",
      "公共事件网络舆情偏差及影响因素研究述评----已下载\n",
      "新网络舆论观指导高校思政课教学模式创新----已下载\n",
      "网络新媒体对高校意识形态安全的冲击及应对----已下载\n",
      "新媒体环境下青年网民媒介素养研究——基于网络流行语传播的分析视角----已下载\n",
      "2014-2017年雾霾网络舆情现状特征及发展态势研究——以新浪微博的内容与数据为例----已下载\n",
      "网络青年亚文化的社会冲突、传播及治理----已下载\n",
      "网络社会的缺场交往与在场治理——评《社区传播论》----已下载\n",
      "消费与狂欢:论网络脱口秀节目主持人的话语范式----已下载\n",
      "基于共词分析的网络版权研究热点分析----已下载\n",
      "以坚定自信谱写新时代网络视听发展新篇章----已下载\n",
      "基于网络游记的陕西旅游目的地形象感知研究——以陕西省八大5A级旅游景区为例----已下载\n",
      "习近平意识形态工作论述的几点解读——基于网络传播学的视角----已下载\n",
      "新兴网络语言“A到VP”格式探析----已下载\n",
      "网络青年亚文化的社会学分析----已下载\n",
      "网络时代的舆论安全与政治安全----已下载\n",
      "网络综艺的娱乐表征、问题与整改措施----已下载\n",
      "高校团组织依托网络新媒体引导当代青年发展----已下载\n",
      "新媒体时代政府网络舆情治理模式创新研究----已下载\n",
      "新媒体背景下大学生网络行为特点及其引导策略----已下载\n",
      "网络新媒体在大学生思想政治教育中的创新应用----已下载\n",
      "网络舆情危机的应对机制与舆论引导——评《新媒体环境下的危机传播及舆论引导研究》----已下载\n",
      "西方国家网络治理经验及对我国的启示----已下载\n",
      "网络视频直播的共同治理:基于政策网络分析的视角----已下载\n",
      "以“综合治理”引领行业行稳致远——中国网络视听规制的历程与经验分析----已下载\n",
      "新时代马克思主义网络传播的战略指向----已下载\n",
      "第18届全国互联网与音视频广播发展研讨会暨第27届中国数字广播电视与网络发展年会----已下载\n",
      "Facebook-剑桥事件对网络治理和新媒体规则的影响与启示----已下载\n",
      "高校网络思想政治教育议程设置实效性研究——评《新媒体时代议程设置嵌入高校网络思想政治教育研究》----已下载\n",
      "运用大学网络社群创新高校思想政治教育研究----已下载\n",
      "第18届全国互联网与音视频广播发展研讨会暨第27届中国数字广播电视与网络发展年会----已下载\n",
      "新媒体时代研究生网络意见表达的教育引导:现实困境与路径选择----已下载\n",
      "高校思政课教师的网络舆论“把关人”角色刍议----已下载\n",
      "第18届全国互联网与音视频广播发展研讨会暨第27届中国数字广播电视与网络发展年会----已下载\n",
      "新媒体环境下网络群体极化动力机理与引导策略研究——以内容智能分发平台为例----已下载\n",
      "第18届全国互联网与音视频广播发展研讨会暨第27届中国数字广播电视与网络发展年会----已下载\n",
      "新的社会阶层人士网络行为特征及统战工作方式研究----已下载\n",
      "新媒体时代网络语言的经济功能----已下载\n",
      "公民网络道德素养如何提升----已下载\n",
      "国家主流意识形态网络传播的效果评估体系研究----已下载\n",
      "网络议程设置理论视域下新型主流媒体传播效果评价指标分析----已下载\n",
      "第18届全国互联网与音视频广播发展研讨会暨第27届中国数字广播电视与网络发展年会----已下载\n",
      "网络新生代的崛起与网络舆论生态的嬗变----已下载\n",
      "新媒体时代下网络热点事件情感传播特征研究----已下载\n",
      "第18届全国互联网与音视频广播发展研讨会  暨第27届中国数字广播电视与网络发展年会----已下载\n",
      "网络新媒体时代我国传统工艺的传承危机与传播路径----已下载\n",
      "论网络思想政治教育主客体协同关系的生成——基于高校师生网络思想政治教育与学习现状调查----已下载\n",
      "新媒体背景下的网络舆情与意识形态安全----已下载\n",
      "新媒体环境下电影的网络传播平台研究----已下载\n",
      "做好马克思主义的网络传播----已下载\n",
      "中国网络视频产业组织优化与规制政策研究----已下载\n",
      "新建本科院校网络育人微探----已下载\n",
      "新媒体视域下青年网络“丧文化”传播研究——以流行词“佛系”为例----已下载\n",
      "新媒体视域下辅导员思想政治教育工作的创新——评《网络环境下学校思政教育的改革与发展》----已下载\n",
      "新媒体网络在秘书写作中的价值与作用——评《现代秘书写作》----已下载\n",
      "新媒体时代社会主义核心价值观的弘扬与传播——评《网络媒体传播社会主义核心价值观研究》----已下载\n",
      "中国城市的网民性格与网络影响力——基于90个城市微博大数据的研究----已下载\n",
      "网络新媒体从业者素养刍议----已下载\n",
      "网络社会的情感治理----已下载\n",
      "知识获取V.S.娱乐享受——基于UTAUT拓展模型的网络课堂使用探究----已下载\n",
      "李黎丹:网络意识形态引导的基本思路----已下载\n",
      "网络新媒体对政府信任的影响——文化主义与制度主义的多重中介作用----已下载\n",
      "5G通信网络技术在媒体业务中的应用实践----已下载\n",
      "媒体融合下高校学报的微信公众号与网络运营现状和优化建议----已下载\n",
      "科技赋权与协作参与:科技网络社群在社会运动中的动员过程——以台湾地区g0v网络社群为例----已下载\n",
      "高校英语教学中多媒体网络技术的应用——评《基于网络多媒体的大学英语教学模式的研究》----已下载\n",
      "互联网时代语文教育的传播方式探析——评《网络语文教育建构论》----已下载\n",
      "网络女性自治区中的性别歧视内化——自媒体美妆视频中的女性嫌恶现象及批判----已下载\n",
      "中国网络直播产业市场结构、行为及绩效分析----已下载\n",
      "传播要素视角下网络衍生舆情成因的多维分析----已下载\n",
      "新媒体视域下网络空间意识形态话语权的逻辑生成----已下载\n",
      "“看球”还是“看人”:结果不确定性与明星质量对中国足球协会超级联赛网络关注度的影响----已下载\n",
      "知行合一?从环境问题感知到环境友好行为——环境知识、媒体使用与非正式网络沟通的调节作用----已下载\n",
      "多媒体网络环境下的大学英语教学模式探讨——评《基于网络多媒体的大学英语教学模式的研究》----已下载\n",
      "网络时代马克思主义意识形态有效传播的路径分析----已下载\n",
      "网络体育舆论的构成形态、极化传播及其引导策略----已下载\n",
      "融媒时代网络音频技术的广播应用价值探析----已下载\n",
      "自我认知革命中的不忘初心——论传播理论武装与网络媒体的有效融合----已下载\n",
      "算法定义的新型信息空间——基于网络搜索引擎特性的综合治理研究----已下载\n",
      "网络综合治理格局如何构建----已下载\n",
      "基于新媒体的党风廉政建设文化传播——党建网络平台构建设想----已下载\n",
      "网络抗争研究的全球图景:结构、热点与知识基础——基于WoS三大引文索引的知识图谱及文献计量分析----已下载\n",
      "融媒体下的高校思想政治教育研究——评《网络时代思想政治教育研究》----已下载\n",
      "从热点事件看网络舆论变化与价值取向的转移----已下载\n",
      "新媒体环境下律师网络言行的生成逻辑与规范治理----已下载\n",
      "边疆地区少数民族媒介变迁与国家安全意识网络治理研究----已下载\n",
      "新媒体时期涉军网络舆情态势趋向及治理路径——以“老虎团涉嫌猥亵幼童”事件为例----已下载\n",
      "网络话语场高校思想政治教育话语权论析----已下载\n",
      "网络综艺节目的创新与传播策略----已下载\n",
      "领导干部网络舆情处置能力建设策略探析----已下载\n",
      "地方高校网络与新媒体专业教育中的问题及其对策----已下载\n",
      "政务短视频平台府际关系结构特征研究——基于公安政务抖音的社会网络分析----已下载\n",
      "新媒体在农业传播中的应用——评《农业科技传播模式创新与网络建设的理论与实践》----已下载\n",
      "新时代高校网络教育主导权构建研究----已下载\n",
      "高校网络舆情管理方法及其功能探讨----已下载\n",
      "基于文献计量的我国网络失范研究综述----已下载\n",
      "网络舆情事件对城市形象建构的影响研究----已下载\n",
      "从“一体化”宣传到“混合型”传播——以中国共青团网络政治传播活动变迁为中心的讨论----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 677\n",
    "end_count = 800\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： lxcd\n",
      "验证码识别： lxcd\n",
      "探索广播报道新思路——以《CRI观察》网络视频直播节目为例----已下载\n",
      "新媒体时代网络音乐文化传播特征解析----已下载\n",
      "政治、社会与新型网络应用——2008年中国网络传播研究的关键主题----已下载\n",
      "1994年以来中国网络新闻传播理论研究进展分析----已下载\n",
      "成长优势与行业困局:网络电视实证调查研究----已下载\n",
      "网络文学:盛宴背后的审美伦理问题----已下载\n",
      "省级卫视与网络媒体协同发展路径研究——以湖南卫视与金鹰网互动为例----已下载\n",
      "新媒体视野中的网络音乐文化及其美学特征----已下载\n",
      "网络舆情及社会性网络信息传播模式----已下载\n",
      "报网融合:立足网络改造报纸----已下载\n",
      "上海市网络视听专业人才情况调查----已下载\n",
      "网络视频时代的美国电视媒体变革及应对----已下载\n",
      "加强大学生网络思想政治教育----已下载\n",
      "权衡需求理论与网络学术出版的前景----已下载\n",
      "沟通与对话:公民社会与媒体公共空间——网络群体性事件形成机制的理论基础----已下载\n",
      "网络媒体与电视媒体的融合与发展----已下载\n",
      "关于运用网络新技术推动高校新闻网创新发展的思考----已下载\n",
      "网络信息资源与大学生媒体素养----已下载\n",
      "疏离还是拓展——网络社会初级群体社会关系分析----已下载\n",
      "学习新媒体  寻求新模式——美国网络新闻商业模式创新的三个新动向----已下载\n",
      "浅析网络媒体对受众的分割与重聚----已下载\n",
      "网络时代大学校园媒体的特征及运行策略----已下载\n",
      "试析网络访谈类节目的成功之道——以凤凰网《凤凰非常道》为例----已下载\n",
      "网络时代的政治传播策略及效果——以奥巴马从竞选到执政的受众态度为例----已下载\n",
      "谈网络视频版权保护----已下载\n",
      "新媒介技术之伦理张力——以网络传播等为例----已下载\n",
      "新网络环境下领导干部媒介素养的提升----已下载\n",
      "新媒体航母的整合之痛——解读网络电视的困境与出路----已下载\n",
      "对网络,依靠而不依赖----已下载\n",
      "当传统批评家遭遇网络----已下载\n",
      "新媒介公信力考察——基于全国十大城市网络、手机调查数据的分析----已下载\n",
      "结构性制约:对网络时代日常新闻生产的考察----已下载\n",
      "回顾与展望:2009年的网络传播研究----已下载\n",
      "网络时代,电视财经节目如何应对----已下载\n",
      "浅议视听新媒体“网络电视台”----已下载\n",
      "当前高校校园网络环境的变化及其对策研究——以北京大学未名BBS和“人人网”为例----已下载\n",
      "新媒体语境下的网络影视剧传播与本体美学特征----已下载\n",
      "新媒体时代的思考:网络媒介与手机媒介知识信息服务在图书馆的应用----已下载\n",
      "新媒体时代广播电视与网络的舆论竞争----已下载\n",
      "高校基层党组织建设与和谐校园的构建——以网络新媒体为视角----已下载\n",
      "从英国Channel 4的网络实践看“台网融合”之道----已下载\n",
      "新媒体环境中的广告舆论生成与网络口碑传播----已下载\n",
      "网络民意表达促进中国法律法规完善----已下载\n",
      "新媒体赋权:理论建构与个案分析——以中国稀有血型群体网络自组织为例----已下载\n",
      "新媒体时代中国舆论监督的新议题:网络揭黑----已下载\n",
      "网络时代戏曲艺术的传播----已下载\n",
      "网络时代的青少年与共青团工作研究----已下载\n",
      "电视与网络融合的对策探讨----已下载\n",
      "“无暇之人”——数字网络新媒体语境中的主体建构逻辑省思----已下载\n",
      "开放API  开放内容——《纽约时报》《卫报》的网络战略转向新途径探析----已下载\n",
      "新媒体语境下的网络深度报道研究----已下载\n",
      "网络媒体产业的中国模式审视----已下载\n",
      "网络广播电视融入图书馆服务之探讨----已下载\n",
      "网络“公民新闻”的社会舆情解读----已下载\n",
      "影像、网络与大众——以《11度青春》为例看“新媒体电影”现象----已下载\n",
      "网络时代的文学形式----已下载\n",
      "省级卫视与网络媒体协同发展路径研究——以湖南卫视与金鹰网互动为例----已下载\n",
      "新媒体视野中的网络音乐文化及其美学特征----已下载\n",
      "网络舆情及社会性网络信息传播模式----已下载\n",
      "报网融合:立足网络改造报纸----已下载\n",
      "上海市网络视听专业人才情况调查----已下载\n",
      "网络视频时代的美国电视媒体变革及应对----已下载\n",
      "加强大学生网络思想政治教育----已下载\n",
      "权衡需求理论与网络学术出版的前景----已下载\n",
      "沟通与对话:公民社会与媒体公共空间——网络群体性事件形成机制的理论基础----已下载\n",
      "网络媒体与电视媒体的融合与发展----已下载\n",
      "关于运用网络新技术推动高校新闻网创新发展的思考----已下载\n",
      "网络信息资源与大学生媒体素养----已下载\n",
      "疏离还是拓展——网络社会初级群体社会关系分析----已下载\n",
      "学习新媒体  寻求新模式——美国网络新闻商业模式创新的三个新动向----已下载\n",
      "浅析网络媒体对受众的分割与重聚----已下载\n",
      "网络时代大学校园媒体的特征及运行策略----已下载\n",
      "试析网络访谈类节目的成功之道——以凤凰网《凤凰非常道》为例----已下载\n",
      "网络时代的政治传播策略及效果——以奥巴马从竞选到执政的受众态度为例----已下载\n",
      "谈网络视频版权保护----已下载\n",
      "新媒介技术之伦理张力——以网络传播等为例----已下载\n",
      "新网络环境下领导干部媒介素养的提升----已下载\n",
      "新媒体航母的整合之痛——解读网络电视的困境与出路----已下载\n",
      "对网络,依靠而不依赖----已下载\n",
      "当传统批评家遭遇网络----已下载\n",
      "新媒介公信力考察——基于全国十大城市网络、手机调查数据的分析----已下载\n",
      "结构性制约:对网络时代日常新闻生产的考察----已下载\n",
      "回顾与展望:2009年的网络传播研究----已下载\n",
      "网络时代,电视财经节目如何应对----已下载\n",
      "浅议视听新媒体“网络电视台”----已下载\n",
      "当前高校校园网络环境的变化及其对策研究——以北京大学未名BBS和“人人网”为例----已下载\n",
      "新媒体语境下的网络影视剧传播与本体美学特征----已下载\n",
      "新媒体时代的思考:网络媒介与手机媒介知识信息服务在图书馆的应用----已下载\n",
      "新媒体时代广播电视与网络的舆论竞争----已下载\n",
      "高校基层党组织建设与和谐校园的构建——以网络新媒体为视角----已下载\n",
      "从英国Channel 4的网络实践看“台网融合”之道----已下载\n",
      "新媒体环境中的广告舆论生成与网络口碑传播----已下载\n",
      "网络民意表达促进中国法律法规完善----已下载\n",
      "新媒体赋权:理论建构与个案分析——以中国稀有血型群体网络自组织为例----已下载\n",
      "新媒体时代中国舆论监督的新议题:网络揭黑----已下载\n",
      "网络时代戏曲艺术的传播----已下载\n",
      "网络时代的青少年与共青团工作研究----已下载\n",
      "电视与网络融合的对策探讨----已下载\n",
      "“无暇之人”——数字网络新媒体语境中的主体建构逻辑省思----已下载\n",
      "开放API  开放内容——《纽约时报》《卫报》的网络战略转向新途径探析----已下载\n",
      "新媒体语境下的网络深度报道研究----已下载\n",
      "网络媒体产业的中国模式审视----已下载\n",
      "网络广播电视融入图书馆服务之探讨----已下载\n",
      "网络“公民新闻”的社会舆情解读----已下载\n",
      "影像、网络与大众——以《11度青春》为例看“新媒体电影”现象----已下载\n",
      "网络时代的文学形式----已下载\n",
      "论新媒体环境下新闻生产的网络依赖症----已下载\n",
      "网络阅读对传播社会主义核心价值体系的影响与对策研究----已下载\n",
      "浅谈网络新媒体在首都献血服务中的应用----已下载\n",
      "青年学生网络媒介素养培养路径研究----已下载\n",
      "新媒体时代的网络舆论现状与引导对策----已下载\n",
      "网络群体性事件的性质和价值探析----已下载\n",
      "互联网与网络草根公益行动达成----已下载\n",
      "网络围观:新媒体时代的“另类”公民政治参与----已下载\n",
      "权利表达与协商民主:辨析新媒体时代的公民网络社会参与----已下载\n",
      "新媒体,“微托邦”:崛起于网络的“青年中国”影像----已下载\n",
      "新媒体时代食品安全事件的网络舆论引导----已下载\n",
      "对网络时代报纸价值重塑的思考----已下载\n",
      "电视与网络联动  互惠实现共赢----已下载\n",
      "网络媒介时代中国共产党的形象建构----已下载\n",
      "网络时代报业的变与不变——英国报业转型发展的启示----已下载\n",
      "网络时代政策议程设置机制研究----已下载\n",
      "泛网络时代手机媒体与社会个体化的关系思考----已下载\n",
      "网络观发展与新媒体执政能力提升——关于党的十八大报告中“互联网”的政治传播学解读----已下载\n",
      "网络表达视角下“草根文化”发展探析----已下载\n",
      "缺席的在场:网络社会运动的时空逻辑----已下载\n",
      "新媒体艺术研究的理论设定与网络文学的研究视野----已下载\n",
      "公共舆论危机中的地方政府微博回应与网络沟通——基于深圳“5.26飙车事件”的个案分析----已下载\n",
      "网络危机事件中非政府组织的新媒体公关策略——以“郭美美与红十字会危机”为例----已下载\n",
      "中国网络上的意识形态----已下载\n",
      "全面分众化时代的来临——网络媒体前景展望----已下载\n",
      "新媒体时代高校网络舆情的研判及应对策略----已下载\n",
      "中国网络传播研究现状及特点----已下载\n",
      "网络文化视阈下的中国大学文化及其建设路径探究----已下载\n",
      "从“受众”到“使用者”:网络环境下视听信息接收者的变迁----已下载\n",
      "论高校“微网络公开课”的建设----已下载\n",
      "第二十一届中国国际广播电视信息网络展览会即将召开----已下载\n",
      "社交电视:传统电视的社会化生存及其网络分析----已下载\n",
      "突发公共事件网络舆情的形成及演变机制研究----已下载\n",
      "多级传播路径下的网络视听信息影响力评估体系建构----已下载\n",
      "虚拟社会中网络舆情的现状研究——基于360个网络热点新闻的文本分析----已下载\n",
      "网络艺术中的新媒体语言方式----已下载\n",
      "作为政府与公众间距离协调机制的网络政治沟通研究----已下载\n",
      "我国政府利用微博引导突发事件网络舆论的初探----已下载\n",
      "新媒体环境下当代中国网络监督的困境与出路----已下载\n",
      "政治信息的“微传播”——以2012年台湾地区领导人选举中的网络传播为例----已下载\n",
      "网络群体传播中反向社会情绪的放大效应及其疏导----已下载\n",
      "基于网络视域下的信息管理工作研究----已下载\n",
      "基于网络舆情研判的突发事件应急舆论引导----已下载\n",
      "身份认同的建构:网络媒介生态下艺术社会关系探析----已下载\n",
      "新媒体视阈下科技期刊网络营销可行性分析及策略体系构建研究----已下载\n",
      "新媒体,新中国?  网络使用与美国人的中国形象认知----已下载\n",
      "网络社会语境下突发公共事件中大学生的道德观表现及价值追求----已下载\n",
      "网络反腐态势及规范化引导----已下载\n",
      "基于新媒体环境下网络媒体失范行为的分析研究----已下载\n",
      "基于社交网络的境外博物馆新型传播服务及其对图书馆的启示----已下载\n",
      "网络学术问责的有效性及其限度分析----已下载\n",
      "网络新媒体时代旅游网络舆情研究:源起、价值与构想----已下载\n",
      "数字新媒体竞争环境分析——以网络视频业为例----已下载\n",
      "新媒体与信息网络专业人才培养的策略创新----已下载\n",
      "中国西部城乡网络与手机等新媒体使用研究----已下载\n",
      "网络拟态环境的隐性风险及其治理----已下载\n",
      "牢牢掌握网络舆论工作主动权----已下载\n",
      "网络反腐的符号传播逻辑及其社会整合作用——以“杨达才事件”为例----已下载\n",
      "网络媒体应主动承担社会责任----已下载\n",
      "网络媒体反腐的总体态势及问题——以十八大以来网络媒体反腐案件为例----已下载\n",
      "网络与新媒体学科发展路径的探析----已下载\n",
      "从技术到政治:中国网络公共空间的特性分析----已下载\n",
      "论网络新媒体马克思主义大众化传播的三重维度----已下载\n",
      "新媒体时代网络诽谤的构成与责任探析----已下载\n",
      "国际网络外交策略模式研究----已下载\n",
      "2013年网络舆情走势和社会舆论格局----已下载\n",
      "北京网络广播电视台开播----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 42\n",
    "end_count = 500\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(5)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(5)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "验证码识别： esgn\n",
      "验证码识别： 66a6\n",
      "验证码识别： 66a6\n",
      "新时代高校网络教育主导权构建研究----已下载\n",
      "高校网络舆情管理方法及其功能探讨----已下载\n",
      "基于文献计量的我国网络失范研究综述----已下载\n",
      "网络舆情事件对城市形象建构的影响研究----已下载\n",
      "从“一体化”宣传到“混合型”传播——以中国共青团网络政治传播活动变迁为中心的讨论----已下载\n",
      "文化自觉与文化适应:集体记忆理论与彝族文化的网络构建----已下载\n",
      "礼物与群体行动：网络亚文化的生产及其公共性探讨——以在线直播视频为例----已下载\n",
      "与网络空间共存：新媒体与视障学生互动研究----已下载\n",
      "网络新闻语言的特征、失范及成因----已下载\n",
      "两岸青年网络交流中的偏见生成机制----已下载\n",
      "新时代高校网络文化育人的探索与实践----已下载\n",
      "网络游戏与新媒体时代的文艺理论----已下载\n",
      "新媒体时代公民网络参与的引导理路分析----已下载\n",
      "新媒体时代“反沉默螺旋”现象与网络舆论引导研究----已下载\n",
      "新媒体环境下高校负面网络舆情传播特征和路径研究----已下载\n",
      "高校网络主流意识形态话语建构研究----已下载\n",
      "网络时代公益传播游戏化的生成逻辑----已下载\n",
      "论网络舆论风暴公式----已下载\n",
      "基于OBE理念的网络新媒体人才培养目标构建----已下载\n",
      "网络社会青年信仰泛娱乐化庸俗化风险的“文化景观”与破解策略----已下载\n",
      "政策网络视角下我国农村政策传播的效能问题研究----已下载\n",
      "网络传播研究述略:从本体研究到规范研究----已下载\n",
      "网络微视频的微语义建构与新生产机制——以系列微视频《中国一分钟》为中心的考察----已下载\n",
      "我国网络宗教活动现状及管理对策研究----已下载\n",
      "“新媒体使用”概念的有效性——从媒介使用和媒介效果看网络信息渠道的异质性----已下载\n",
      "究竟是“网络群体性事件”还是“网络公共事件”抑或其他?——关于“网络舆论聚集”研究的再思考----已下载\n",
      "网络意识形态的二重性特质与主流意识形态安全维护----已下载\n",
      "2019年传媒政策的三大重点：县级融媒体中心、新型主流媒体与网络治理----已下载\n",
      "网络新媒体发展下乡村旅游的营销策略----已下载\n",
      "新媒体环境下高校应对网络舆情的探索----已下载\n",
      "乡村居民社交网络使用与人际交往——基于中国35个乡镇的实证研究----已下载\n",
      "公众心理视阈下涉检网络舆情与传播疏导----已下载\n",
      "网络空间极端民族主义舆情的延伸、变异及其应对----已下载\n",
      "基于智能网络的党外青年知识分子政治引领策略----已下载\n",
      "网络新媒体报道中的情感动员——以四川木里火灾报道为例----已下载\n",
      "新时代网络意识形态话语权构建的四重“论”域透视——学习习近平总书记关于网络意识形态工作的重要论述----已下载\n",
      "新媒体时代信息技术对党建工作的影响研究——评《网络党建论:互联网时代政党的组织变革与社会适应(修订版)》----已下载\n",
      "智媒趋势下新媒体网络新闻编辑的转型----已下载\n",
      "重大疫情防控中网络舆情形成机制及引导策略研究——基于新冠肺炎疫情期间网络舆情文本的质性分析----已下载\n",
      "中国纪录片进入“网生时代”——2019年中国网络纪录片发展研究报告----已下载\n",
      "5G融媒体时代下的网络与新媒体专业人才培养探究----已下载\n",
      "新媒体环境下智库信息传播网络结构实证分析研究----已下载\n",
      "网络空间中的用户劳动:技术驯化与“盲点论争”的统一----已下载\n",
      "推荐算法与网络意识形态风险防范----已下载\n",
      "基于新媒体、网络社群的少数民族文化传承——以阿昌族、裕固族为个案----已下载\n",
      "循证治理视域下突发公共卫生事件的网络舆情治理研究----已下载\n",
      "新媒体背景下高校突发事件网络舆情传播模式及应对----已下载\n",
      "新媒体视域下的平等权保护——对网络仇恨言论的反思----已下载\n",
      "任务导向型网络打卡:新媒体时代的数据化生活与自我管理----已下载\n",
      "新时代大学生网络思想政治教育议程设置创新研究----已下载\n",
      "转型与重构：网络新闻工作者的职业身份认同与专业理念认知——一项广东地区的实证调查----已下载\n",
      "网络直播下出版业发展的新业态与新要求----已下载\n",
      "直播带货带来了什么  网络直播带货的机遇与思考----已下载\n",
      "网络社会心态调适与引导策略----已下载\n",
      "高校生态文明网络教育资源论析----已下载\n",
      "时空的补偿与再造：网络社群对少数民族口头传统传承的影响----已下载\n",
      "社交网络空间转换:大学生“晒图”行为研究----已下载\n",
      "从创作到制作:网络新媒体视域下文学生产方式转型----已下载\n",
      "新媒体背景下高校艺术设计教学创新实践——以翻转课堂+网络教学模式为例----已下载\n",
      "网络新媒体文学视域下美丽乡村的视觉传达设计与实践——评《视觉传达设计》----已下载\n",
      "舆情视角下我国网络协商民主的方式、困境及进路----已下载\n",
      "建制激增、学科互渗与课程互构:网络与新媒体专业教育的结构性特征与关键问题----已下载\n",
      "新时代高校网络意识形态工作探究----已下载\n",
      "基于7S模型的高校大学生网络思想政治教育育人体系研究----已下载\n",
      "健全网络舆论正向引导机制的策略研究----已下载\n",
      "5G时代政务新媒体的发展路径——基于第44次《中国互联网络发展状况统计报告》的论述----已下载\n",
      "网络舆情治理中意见领袖舆论引导的研究热点和前沿探析----已下载\n",
      "网络节目模式：电视模式流变中的跨媒介重构----已下载\n",
      "新媒体时代大学生网络舆情分析及引导策略研究----已下载\n",
      "治理视域下的高校网络舆情应对策略----已下载\n",
      "新媒体环境下网络舆情引导的现实挑战和实践进路----已下载\n",
      "二元性互构：选择性接触影响下的青年网络政治意见表达----已下载\n",
      "网络泛娱乐化:青年主流意识形态的“遮蔽”及其“解蔽”----已下载\n",
      "学术期刊网络舆情危机与对策----已下载\n",
      "网络直播在学术期刊中的应用探索----已下载\n",
      "重大突发公共卫生事件中主流媒体与网络舆情有机运动关系探讨——以新冠肺炎疫情信息传播为例----已下载\n",
      "技术与可视化:网络与新媒体专业人才培养的新取向----已下载\n",
      "网络直播的内容生产逻辑及优化策略----已下载\n",
      "北京文化形象的媒体呈现——基于大数据和社会网络分析方法----已下载\n",
      "新媒体时代网络文学改编剧的叙事与传播转向——以IP网剧《长安十二时辰》为例----已下载\n",
      "新媒体背景下政府网络舆情治理能力提升路径探析----已下载\n",
      "新媒体时代主体间性的建构——以“豆瓣”的网络乌托邦为例----已下载\n",
      "话语结构、思维演进与智能化转向:作为政治新图景的中国网络问政----已下载\n",
      "网络语境下媒介使用对用户行为表征的影响研究----已下载\n",
      "新媒体环境下基于动机理论的高校负面网络舆情传播研究----已下载\n",
      "重大疫情防控中的网络舆情及其信息治理策略——基于“弹簧”动力模型分析----已下载\n",
      "新媒体背景下的高校网络思想政治教育工作：价值、挑战与应对----已下载\n",
      "社交媒体环境下网络舆论引导策略研究----已下载\n",
      "网络时代媒体影响力:媒体效果研究视角----已下载\n",
      "“青年抗疫守卫队”的媒介实践与社会行动——对一个湖北村庄的网络民族志研究----已下载\n",
      "重大疫情应对中的网络次生舆情治理探析----已下载\n",
      "新时代网络舆论生态治理的内在逻辑及实践指向----已下载\n",
      "5G+直播:探索网络媒体“新闻+政务服务商务”的运营模式----已下载\n",
      "青年大学生参与网络争议的态度、归因与表现特征——基于《后浪》争议的新媒体时代探究----已下载\n",
      "新媒体产业资本流通与价值转移的影响机制研究——以网络视听行业为例----已下载\n",
      "基于舆论引导的网络新闻传播规划——评《新闻传播学热点专题:知识图谱》----已下载\n",
      "大学生网络思想政治教育的范式演进与经验启示----已下载\n",
      "构建网络内容治理主体协同机制的作用与优化路径----已下载\n",
      "2020年网络新媒体传播:重大现实主题与学科研究进展----已下载\n",
      "网络青年亚文化的特征及引领路径探析----已下载\n",
      "网络的法律地位:行政确认与《民法典》法律界定----已下载\n",
      "媒介素养研究核心议题:基于CSSCI期刊关键词网络分析----已下载\n",
      "提升高校网络育人成效的路径研究----已下载\n",
      "新媒体时代公众参与网络信息治理的实现路径----已下载\n",
      "浅析广播电视新闻评论在网络媒体中的新常态运用----已下载\n",
      "基于网络结构与内容分布的新媒体事件聚类研究----已下载\n",
      "网络时代民族团结教育研究——铸牢中华民族共同体意识研究系列论文之一----已下载\n",
      "提升高校社会主义核心价值观网络传播效果研究----已下载\n",
      "关于高校网络意识形态安全建设的新考量----已下载\n",
      "出圈与折叠：2020年网络热点事件的舆论特征及对内容生产的意义----已下载\n",
      "信息化时代我国网络政治生态治理研究----已下载\n",
      "现状与特征:社会网络分析在我国传播学研究中的应用----已下载\n",
      "从娱乐至死到网络至死:新媒体发展与城市生活状态----已下载\n",
      "网络时代红色资源在高校思政课中的应用----已下载\n",
      "嵌入基层治理：县级融媒体中心与基层网络政务服务的融合发展----已下载\n",
      "长城新媒体集团融合创新春晚形态——“河北网络春节云联欢”云端放异彩----已下载\n",
      "新媒体时代图书网络营销矩阵建设实务研究----已下载\n",
      "嬗变、冲突与重构：新媒体视域下的网络舆论----已下载\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel(\"cnki下载文章.xlsx\") #上次已经把pdf下载链接存到了excel表里所以直接用\n",
    "base = \"https://kns.cnki.net/\"\n",
    "count = 778\n",
    "end_count = 899\n",
    "title_list = data[\"标题\"].to_list()[count:end_count]\n",
    "download_url_list = data[\"PDF下载链接\"].to_list()[count:end_count]\n",
    "for title,download_url in zip(title_list,download_url_list):\n",
    "    try:\n",
    "        driver.get(download_url)\n",
    "        time.sleep(6)\n",
    "        if driver.find_element_by_xpath('//*[@id=\"vImg\"]'):\n",
    "            time.sleep(6)\n",
    "            driver.save_screenshot('code.png')\n",
    "            img = driver.find_element_by_xpath('//*[@id=\"vImg\"]')\n",
    "            left = img.location['x']+100\n",
    "            top = img.location['y']+50\n",
    "            right = img.location['x'] + img.size['width']+180\n",
    "            bottom = img.location['y'] + img.size['height']+110\n",
    "            photo = Image.open('code.png')\n",
    "            photo = photo.crop((left, top, right, bottom))\n",
    "            photo.save('code.png')\n",
    "            img_path = \"C:/Users/86198/Desktop/cnki 数据挖掘/code.png\"\n",
    "            result = base64_api(uname='boilingsyrup',pwd='123456a',img=img_path,typeid=3)\n",
    "            print(\"验证码识别：\",result) # 识别出的验证码\n",
    "            driver.find_element_by_id('vcode').send_keys(result) # 将验证码填入\n",
    "            time.sleep(2.5)\n",
    "            driver.find_element_by_xpath('/html/body/div/form/dl/dd/button').click() # 点击提交进行下载\n",
    "    except:\n",
    "        print(f'{title}----已下载')\n",
    "        continue"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}
